跳转至

文章背景与核心概要

检索增强生成（RAG）系统的性能很大程度上取决于高效的文档分块（Chunking）与嵌入（Embedding）策略。本研究针对土耳其语文档问答系统，采用完全交叉的实验设计，深入评估了不同分块方法、嵌入模型以及大语言模型（LLM）在多种文档布局下的表现。

通过在各种文档布局中组合测试不同的分块方法、嵌入模型和 LLM，研究人员生成了多达 9,000 份由独立评判模型打分的评估结果。核心结论表明：排名前三的嵌入模型在性能上没有统计学上的显著差异，这意味着专门针对土耳其语的训练并未带来可测量的检索优势；同时，速度最快的 LLM 并非准确率最高；此外，文档内容的类型对最佳 RAG 配置有着决定性影响，例如感知布局的分块工具（如 Docling）在处理表格密集的文档时，其性能显著优于传统文本密集型分块。

Comparing Chunking and Embedding Strategies for Turkish RAG Systems

arXiv: 2608.26192 [cs.CL]
Accepted to: INTCEC 2026 (Author's pre-print version)
Authors: Mustafa Sertaç Türkel, Fatma Nur Korkmaz, Ahmet Tuğrul Bayrak
Submitted: August 24, 2026 (Last revised August 28, 2026)

arXiv: 2608.26192 [cs.CL]
Accepted to: INTCEC 2026 (Author's pre-print version)
Authors: Mustafa Sertaç Türkel, Fatma Nur Korkmaz, Ahmet Tuğrul Bayrak
Submitted: August 24, 2026 (Last revised August 28, 2026)

📌 Executive Summary

Retrieval-Augmented Generation (RAG) performance relies heavily on effective document chunking and embedding strategies. This study evaluates Turkish document question-answering systems using a fully crossed experimental design.

By testing various combinations of chunking methods, embedding models, and Large Language Models (LLMs) across multiple document layouts, the researchers generated 9,000 graded evaluations scored by an independent judge model.

Key Takeaways:

  • Embedding Model Parity: The top three embedding models showed statistically indistinguishable performance, indicating that specialized Turkish language training does not yield a measurable retrieval advantage.
  • LLM Speed vs. Accuracy: The fastest LLM was not the most accurate.
  • Layout Sensitivity: The optimal RAG configuration heavily depends on document content type. Layout-aware chunking (e.g., Docling) significantly outperforms others on table-heavy documents compared to text-heavy ones.

📌 执行摘要

检索增强生成（RAG）系统的性能严重依赖于高效的文档分块和嵌入策略。本研究采用完全交叉的实验设计，评估了土耳其语文档问答系统。

通过在多种文档布局中测试分块方法、嵌入模型和大语言模型（LLM）的各种组合，研究人员生成了由独立评判模型打分的 9,000 份分级评估结果。

核心要点：

  • 嵌入模型性能对等： 排名前三的嵌入模型在统计学上表现出无法区分的性能，这表明专门的土耳其语语言训练并没有带来可测量的检索优势。
  • LLM 速度与准确率： 速度最快的 LLM 并非准确率最高。
  • 布局敏感性： 最佳的 RAG 配置在很大程度上取决于文档内容类型。与文本密集型文档相比，感知布局的分块（例如 Docling）在表格密集的文档上表现出显著优势。

📊 Experimental Setup

  • Chunking Strategies:
  • Fixed-length
  • Semantic
  • Layout-aware (Docling)
  • Embedding Models: 5 distinct models
  • Language Models (LLMs): 2 models
  • Test Corpus: 3 documents with contrasting layouts
  • Evaluation Methodology: Paired McNemar tests under Holm correction applied to 9,000 paired question-answer evaluations.

📊 实验设置

  • 分块策略：
  • 固定长度（Fixed-length）
  • 语义分块（Semantic）
  • 感知布局（Docling）
  • 嵌入模型： 5 种不同的模型
  • 语言模型（LLM）： 2 个模型
  • 测试语料库： 3 份具有截然不同布局的文档
  • 评估方法： 应用于 9,000 组配对问答评估的、带有 Holm 校正的配对 McNemar 检验。

🔗 链接与资源